TOBench: A Task-Oriented Omni-Modal Benchmark for Real-World Tool-Using Agents
TOBench：面向真实工作流的全模态工具使用基准与闭环验证
🧭 全模态工具使用评估 · 闭环验证 ★ 深度解读
Nanjing University · Huazhong University of Science and Technology · Southwest Jiaotong University · The Chinese University of Hong Kong
提出全模态工具使用基准TOBench，通过闭环验证评估 agent 在真实专业任务中的表现
📌 工作参考价值（4 点）
- 在电商智能客服或内容生成 Agent 中引入闭环验证：生成回复或创意后自动渲染/解析并检查是否满足业务规则（格式、品牌一致性、价格合规），失败则触发修正循环，可大幅提升终态交付质量。
- 采用 MCP 统一工具接口集成商品搜索、订单查询、价格计算等，降低多工具编排成本；同时设计任务特定的 grounded verifier，通过代码检查 + VLM 判断 + 工具结果重查，实现自动化质量校验。
- 对于生成式推荐产出的图文素材，可借鉴多模态工件审查方案：对生成的文案配图进行视觉布局审核、合规性检测，利用规则与 VLM 协同打分，形成可量化的离线评估流水线。
- 从错误分析中吸取教训：工具调用中参数幻觉和缺失自检是主要失败点，实际系统应强化参数校验、提供更结构化的工具反馈，并强制 Agent 在终态前执行至少一次视觉/内容核查（如渲染 PPT 后截图对比），而非仅检查元数据。